병행 컴퓨팅

병행성과 병렬성은 모두 여러 작업을 동시에 처리하는 개념이지만, 그 목적과 구현 방식에서 차이를 보인다. 병행성은 단일 프로세서에서 여러 작업이 교대로 실행되어 동시에 처리되는 것처럼 보이게 하는 것이다. 이는 운영체제의 스케줄링을 통해 스레드나 프로세스가 빠르게 전환되면서 이루어진다. 반면, 병렬성은 물리적으로 여러 개의 프로세서나 코어가 존재하여 실제로 여러 작업을 동시에 실행하는 것을 의미한다.

병행성의 주요 목적은 응답 시간을 개선하고 자원을 효율적으로 활용하는 데 있다. 예를 들어, 웹 서버는 하나의 CPU에서도 수많은 클라이언트 요청을 병행적으로 처리하여 각 사용자에게 빠른 응답을 제공한다. 이는 작업 분할을 통해 대화형 시스템의 반응성을 높이는 데 초점이 맞춰져 있다. 반면, 병렬성은 고성능 컴퓨팅이나 과학 계산과 같이 방대한 계산 작업을 빠른 시간 내에 완료하기 위해 성능 향상을 최우선 목표로 한다.

두 개념은 밀접하게 연관되어 있으며 현대 컴퓨팅 시스템에서 함께 사용된다. 멀티코어 프로세서가 보편화되면서, 소프트웨어는 병행적으로 설계된 작업들을 물리적인 코어에 분배하여 병렬 실행함으로써 최대의 성능을 끌어낸다. 따라서 병행성은 논리적인 동시 실행의 구조를, 병렬성은 물리적인 동시 실행의 수단을 다루는 개념으로 이해할 수 있다.

병행 컴퓨팅에서 동시 실행을 구현하는 모델은 크게 공유 메모리 모델과 메시지 전달 모델로 구분된다. 이 두 모델은 프로세스나 스레드 간에 정보를 교환하고 상태를 공유하는 방식에 근본적인 차이가 있다.

공유 메모리 모델은 여러 스레드가 하나의 공통된 메모리 공간에 접근하여 데이터를 읽고 쓰는 방식이다. 이 모델은 프로그래밍이 비교적 직관적이며 데이터 접근 속도가 빠르다는 장점이 있다. 하지만 여러 스레드가 동일한 메모리 위치를 동시에 수정하려 할 때 발생하는 경쟁 조건을 방지하기 위해 뮤텍스나 세마포어와 같은 동기화 메커니즘을 반드시 사용해야 한다는 복잡성이 따른다. 이는 교착 상태와 같은 문제를 유발할 위험이 있다.

반면, 메시지 전달 모델은 각 프로세스가 독립된 메모리 공간을 가지며, 서로 메시지를 주고받는 방식으로 통신한다. 분산 시스템 환경에서 자연스럽게 적용되며, 공유 메모리가 없는 시스템에서도 구현이 가능하다. 이 모델은 메모리 접근 충돌 문제가 발생하지 않아 설계가 더 명확할 수 있지만, 메시지를 생성하고 전송하는 오버헤드가 존재하며, 통신 지연이나 메시지 손실과 같은 새로운 문제를 고려해야 한다.

이러한 모델의 선택은 시스템의 하드웨어 구조(다중 코어 프로세서 대 컴퓨터 클러스터), 개발의 편의성, 그리고 필요한 성능과 신뢰성 요구사항에 따라 달라진다. 많은 현대의 병행 프로그래밍 언어와 프레임워크는 이 두 모델을 혼합하거나 추상화하여 제공하기도 한다.

경쟁 조건은 병행 컴퓨팅 시스템에서 두 개 이상의 스레드나 프로세스가 공유된 자원에 동시에 접근하여 조작할 때, 그 실행 순서에 따라 최종 결과가 달라질 수 있는 상황을 가리킨다. 이는 프로그램의 실행이 비결정적이 되어 올바른 결과를 보장할 수 없게 만드는 주요 원인 중 하나이다.

경쟁 조건이 발생하는 전형적인 예는 공유 변수에 대한 읽기와 쓰기 연산이 원자적으로 수행되지 않는 경우이다. 예를 들어, 두 스레드가 공유된 카운터 변수를 동시에 증가시키려 할 때, 각 스레드는 변수의 값을 읽고, 증가시킨 후 다시 쓰는 작업을 수행한다. 만약 두 스레드의 연산이 적절한 동기화 없이 겹쳐서 실행되면, 한 스레드가 증가시킨 결과가 다른 스레드에 의해 덮어써져 최종 카운터 값이 한 번만 증가한 것처럼 보이는 오류가 발생할 수 있다.

이러한 문제를 해결하기 위해서는 상호 배제를 보장하는 동기화 메커니즘을 사용해야 한다. 뮤텍스, 세마포어, 모니터와 같은 도구들은 특정 코드 영역(임계 영역)에 한 번에 하나의 스레드만 진입하도록 제어함으로써 경쟁 조건을 방지한다. 또한, 원자적 연산을 지원하는 하드웨어 명령어나 라이브러리 함수를 활용하면 잠금 기반 동기화의 오버헤드 없이 특정 연산의 원자성을 보장할 수 있다.

경쟁 조건은 분산 시스템이나 멀티코어 프로세서 환경에서 특히 흔히 나타나며, 이를 디버깅하는 것은 매우 어려울 수 있다. 오류가 비결정적으로 발생하기 때문에 재현이 어렵고, 교착 상태나 기타 동기화 문제와 복합적으로 발생하기도 한다. 따라서 병행 프로그래밍에서는 설계 단계부터 공유 자원 접근에 대한 신중한 분석과 적절한 동기화 전략 수립이 필수적이다.

교착 상태는 병행 프로그래밍에서 두 개 이상의 프로세스나 스레드가 서로가 점유한 자원을 기다리며 무한정 대기하게 되는 상태를 말한다. 이는 시스템의 정상적인 진행을 완전히 멈추게 하는 심각한 문제로, 병행 컴퓨팅의 주요 과제 중 하나이다. 교착 상태가 발생하려면 일반적으로 상호 배제, 점유 대기, 비선점, 순환 대기라는 네 가지 조건이 동시에 성립해야 한다.

교착 상태를 해결하는 방법은 크게 예방, 회피, 탐지 및 복구로 나눌 수 있다. 예방은 교착 상태 발생의 네 가지 필요 조건 중 하나 이상을 시스템 차원에서 허용하지 않도록 설계하는 방식이다. 회피는 운영체제가 자원 할당을 신중하게 결정하여 교착 상태에 빠질 가능성이 있는 경로를 사전에 피하는 방법으로, 은행원 알고리즘이 대표적이다. 탐지 및 복구는 교착 상태가 발생하는 것을 허용하되, 주기적으로 시스템 상태를 검사하여 교착 상태를 발견하면 프로세스를 강제 종료하거나 자원을 선점하는 방식으로 복구를 시도한다.

교착 상태는 분산 시스템이나 데이터베이스 관리 시스템과 같이 복잡한 자원 관리가 필요한 환경에서 특히 주의 깊게 다뤄져야 한다. 병행 제어 메커니즘을 설계할 때 교착 상태의 가능성을 고려하고, 적절한 동기화 기법과 자원 할당 정책을 적용함으로써 그 위험을 최소화할 수 있다.

동기화는 병행 컴퓨팅 시스템에서 여러 스레드나 프로세스가 공유 자원에 접근할 때, 실행 순서를 조정하거나 상호 배제를 보장하여 데이터의 일관성과 정확성을 유지하는 메커니즘이다. 병행 실행되는 작업들은 서로 독립적이지 않은 경우가 많으며, 특히 메모리나 파일과 같은 공유 자원을 동시에 읽고 쓰려고 할 때 문제가 발생할 수 있다. 동기화는 이러한 작업들 간의 실행을 조율하여 프로그램이 올바르게 동작하도록 한다.

동기화의 가장 기본적이고 중요한 목표는 상호 배제를 구현하는 것이다. 이는 한 번에 하나의 스레드만이 임계 구역에 진입하여 공유 자원을 수정할 수 있도록 보장한다. 이를 구현하는 주요 도구로는 뮤텍스, 세마포어, 모니터 등이 있다. 예를 들어, 뮤텍스는 자물쇠 역할을 하여 자원에 대한 접근 권한을 획득한 스레드만이 해당 자원을 사용할 수 있게 한다.

적절한 동기화가 이루어지지 않으면 경쟁 조건이 발생하여 프로그램의 출력이 비결정적으로 변할 수 있다. 그러나 동기화 메커니즘을 과도하게 사용하거나 부적절하게 설계하면 성능 저하나 교착 상태와 같은 새로운 문제를 초래할 수 있다. 교착 상태는 두 개 이상의 작업이 서로 상대방이 점유한 자원을 기다리며 영원히 진행되지 못하는 상태를 말한다.

따라서 병행 프로그래밍에서 동기화는 데이터 무결성을 보호하는 필수 기술이지만, 성능과 안정성 사이의 균형을 신중하게 고려하여 설계해야 한다. 현대의 병행 프로그래밍 언어 및 프레임워크는 이러한 동기화를 보다 안전하고 편리하게 구현할 수 있는 고수준의 추상화를 제공하기도 한다.

스레드와 프로세스는 병행 컴퓨팅을 구현하는 데 있어 가장 기본적이면서도 핵심적인 실행 단위이다. 운영체제 수준에서 관리되는 이 두 개념은 동시성을 달성하는 방식에 있어 근본적인 차이를 가진다.

프로세스는 운영체제로부터 독립된 메모리 공간, 자원, 그리고 실행 상태를 할당받은 프로그램의 실행 인스턴스를 의미한다. 각 프로세스는 서로의 메모리 공간을 직접 접근할 수 없으며, 프로세스 간 통신이라는 특별한 메커니즘을 통해 데이터를 교환해야 한다. 이는 높은 수준의 안정성과 격리를 제공하지만, 생성과 문맥 교환에 상대적으로 많은 오버헤드가 발생한다는 특징이 있다.

반면, 스레드는 하나의 프로세스 내에서 생성되는 보다 가벼운 실행 흐름이다. 동일한 프로세스에 속한 모든 스레드는 힙과 같은 공유 메모리 영역을 공유하며, 각 스레드는 독자적인 스택과 레지스터 상태만을 유지한다. 이로 인해 스레드 간의 데이터 공유와 통신이 매우 효율적이며, 생성 및 전환 비용이 프로세스에 비해 훨씬 적다. 그러나 공유 자원에 대한 접근이 자유롭기 때문에 동기화 문제가 발생하기 쉽다.

따라서 병행 프로그래밍에서는 작업의 특성에 따라 프로세스와 스레드를 적절히 선택하여 사용한다. 높은 격리성이 요구되거나 분산 시스템 환경에서는 프로세스 기반 병행성이, 단일 애플리케이션 내에서 빠른 문맥 교환과 효율적인 자원 공유가 필요할 때는 스레드 기반 병행성이 주로 활용된다. 많은 현대 프로그래밍 언어와 런타임 환경은 이 두 모델을 혼합하거나 추상화하여 제공하기도 한다.

동기화 메커니즘은 여러 스레드나 프로세스가 공유 자원에 접근할 때 발생할 수 있는 경쟁 조건을 방지하고 실행 순서를 조정하기 위한 도구이다. 이러한 메커니즘은 병행 프로그래밍에서 데이터의 일관성과 프로그램의 정확성을 보장하는 데 필수적이다. 주요 동기화 메커니즘으로는 뮤텍스, 세마포어, 모니터, 조건 변수 등이 있다.

뮤텍스는 상호 배제를 구현하는 가장 기본적인 도구로, 한 번에 하나의 스레드만이 임계 구역에 진입할 수 있도록 한다. 세마포어는 뮤텍스를 일반화한 개념으로, 정해진 수의 스레드만이 자원에 동시에 접근하도록 허용하는 카운터를 사용한다. 모니터는 공유 데이터와 그 데이터를 조작하는 프로시저를 하나의 단위로 묶고, 내부적으로 상호 배제를 제공하는 고수준의 동기화 구조이다. 모니터 내에서 조건 변수는 특정 조건이 충족될 때까지 스레드의 실행을 대기시키는 데 사용된다.

이러한 메커니즘들은 교착 상태나 기아 상태와 같은 문제를 유발할 수 있으므로 신중하게 설계되어야 한다. 예를 들어, 뮤텍스를 획득한 스레드가 이를 해제하지 않거나, 여러 자원을 특정 순서 없이 요청하면 교착 상태에 빠질 수 있다. 따라서 잠금 순서 지정이나 비차단 알고리즘과 같은 고급 기법이 필요할 때도 있다.

동기화 메커니즘의 선택과 구현은 운영체제의 스케줄링 방식, 하드웨어의 메모리 모델, 그리고 프로그래밍 언어가 제공하는 원자적 연산의 지원 여부에 크게 영향을 받는다. 효과적인 동기화는 병행 컴퓨팅의 성능 이점을 최대한 끌어내는 동시에 프로그램의 복잡성을 관리 가능한 수준으로 유지하는 열쇠이다.

병행 프로그래밍을 지원하는 주요 프로그래밍 언어와 라이브러리는 개발자가 병행성을 보다 쉽고 안전하게 구현할 수 있도록 돕는다. 전통적인 언어들은 스레드와 락과 같은 저수준 동기화 메커니즘을 직접 제공하는 반면, 현대의 언어들은 더 높은 수준의 추상화를 통해 병행 프로그래밍의 복잡성을 줄이는 데 초점을 맞춘다.

대표적인 병행 프로그래밍 언어로는 에이다, 얼랭, Go 등이 있다. 에이다는 태생부터 병행성을 언어의 핵심 요소로 설계했으며, 태스크와 랜데부 메커니즘을 제공한다. 얼랭은 액터 모델을 기반으로 하여 메시지 전달을 통한 병행성을 구현하며, 함수형 프로그래밍 패러다임과 결합되어 부작용을 최소화한다. Go 언어는 고루틴과 채널이라는 경량 스레드와 통신 메커니즘을 내장하여 병행 프로그래밍을 간소화한다.

자바와 C++ 같은 범용 언어들도 강력한 병행 프로그래밍 라이브러리를 표준으로 포함하고 있다. 자바는 초기부터 스레드 클래스와 동기화 키워드를 제공했으며, 이후 java.util.concurrent 패키지를 통해 스레드 풀, 동시성 컬렉션, 락 객체 등 다양한 고수준 도구를 추가했다. C++11 표준부터는 스레드 라이브러리, 뮤텍스, 퓨처, 프라미스 등이 표준 라이브러리에 포함되어 플랫폼 독립적인 병행 프로그래밍을 가능하게 했다.

또한, 특정 도메인이나 패러다임에 특화된 라이브러리들도 활발히 사용된다. 예를 들어, OpenMP는 공유 메모리 시스템에서 C, C++, 포트란 프로그램의 병렬 처리를 위한 API이며, 지시문을 추가하는 방식으로 사용된다. MPI는 분산 메모리 시스템에서 메시지 전달을 통한 병렬 컴퓨팅을 위한 표준이다. RxJava나 리액터와 같은 리액티브 프로그래밍 라이브러리는 비동기 데이터 스트림을 처리하는 데 특화되어 있다.